[レポート] AWS を支えるネットワークインフラと要素技術 #AWSSummit

本日 5/30 から 6/1 まで、東京・品川で開催されております [AWS Summit Tokyo 2018](https://www.awssummit.tokyo/tokyo/)。こちらで講演されたセッション「AWS を支えるネットワークインフラと要素技術」を聴講しましたのでレポートします。

AWS Summit Tokyo 2018

#AWS Hyperplane

#Amazon VPC

#イベントレポート

#AWS Direct Connect

#レポート

武田隆志

2018.05.31

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

本日 5/30 から 6/1 まで、東京・品川で開催されています AWS Summit Tokyo 2018。こちらで講演されたセッション「AWS を支えるネットワークインフラと要素技術」を聴講しましたのでレポートします。

今回のAWS Summitでは全セッションで撮影が禁止されているため、文字だけでお届けします。

概要

AWS のスケーラブルで可用性の高いサービスは、それを支えるインフラストラクチャによってなりたっています。普段お使い頂く中では AWS の物理的な側面を意識する機会は少ないかもしれませんが、ご理解頂くことでより効率的に活用することができます。本セッションでは AWS グローバルインフラの構成や要素技術について改めて説明し、サービスの中でどのように活用されているのかをご紹介します。

スピーカー

アマゾンウェブサービスジャパン株式会社技術統括本部ソリューションアーキテクト
- 岡本京（おかもとひろし）

（※敬称略）

レポート

AWSにおけるネットワークの特徴

オンデマンドで使用開始／縮退可能
- リードタイムなし
- 構築作業なし
従量課金
- 初期投資なし
- 無料でできることも多い
AWSにより日々進化
- 規模の継続的な拡大
- 技術的なイノベーション

本セッションのテーマ

AWSネットワークの再発見
- AWSを支えるネットワークインフラと要素技術の進化の歴史
- それらにより実現するサービス／機能の使いどころ

リージョン内のネットワーク

アベイラビリティゾーン（AZ）
- 1つ以上のデータセンターで構成される、互いに独立したインフラ
- 数十万大規模のサーバーを収容
- データセンター間は冗長化された独立したメトロファイバーで接続
リージョン
- 複数のAZ＋複数のトランジットセンターで構成されるインフラ
- AZ間のレイテンシは通常1ms、最大2ms

Amazon VPC

AWSに最初からあったサービスではない
- 従来は大容量ルータによる収容をしていた
従来手法の課題
- VLAN、VRFの最大数
  - 数千が限界
- 設定工数の増大
- ベンダー固有機能やリリースサイクルへの依存
  - マルチベンダー機器の管理は複雑
  - 不具合解決に長期間を要する
Amazon VPCとは
- クラウドスケールの分散型仮想ネットワーク
  - マッピングサービス
    - VPC ID/Instance IDの管理とクエリ応答
    - インスタンス所在のバリデーションを実施
  - 物理ホストでの処理
    - インスタンスからの通信を捕捉しヘッダの書き換えやマッピングサービスへのクエリを実施
    - EC2が送信したパケットを地震のネットワーク情報で再カプセル化（トンネリング）
仮想ネットワークの特性を活かした機能の例
- VPC Peering
- VPC Flow Logs
VPCを支えるカスタムハードウェア
- ルータ
  - 当時主流の10/40GbEではなく25GbEにコミット
  - カスタムBroadcom Tomahawk ASIC搭載
- ネットワークアダプタ
  - 2012年世代
    - ハードウェアオフロードを開始
    - カスタム10GbE NICとプロセッサ
  - 2016年世代
    - 2x25GbE
    - Elastic Network Adapter
    - Amazon Annapurna ASIC
      - AWSがHW/SWをコントロール
VPCの料金
- VPC：無料
- セキュリティグループ：無料
- AZ内の通信：無料
- リージョン内のS3等との通信：無料
- AZ間／VPC Peering間の通信：$0.01/GB
- VPC Flow Logsの取得：無料（S3の保存料はかかる）

AWS Hyperplane

もともとは内部的なS3 Load Balancerとして開発された
- 従来はアプライアンスのロードバランサを利用していた
  - 構築が容易
  - 進化が活発（当時）
従来の手法の課題
- トラブル解決が困難
  - 実装がブラックボックス
- キャパシティ管理が困難
- コストが増大
  - アクティブースタンバイで低い使用率
S3 Load Balancer
- 高度に分散したアーキテクチャの採用
  - セッションステートは最低3ノードに格納
  - どのノードもすべてのトラフィックの振り分け先を解決可能
  - ノード障害時の影響が最小化
  - 高いリソース使用効率
- S3に対する 37Tb/s ものトラフィックボリュームに対応できる安価なロードバランサを開発
Internal Network Load Balancing Service
- S3 Load Balancerの経験を活かして開発
- 現在は4つのサービスのコア技術として活用
  - Amazon EFS
  - AWS Managed NAT
  - Network Load Balancer
  - AWS PrivateLink
Network Load Balancer
- HyperplaneベースのTCPロードバランサ
  - 数百万リクエスト/sに対応
  - Pre-warmingなしに急激なスパイクにも対応

リージョン間のネットワーク

リージョン
- 2006-2010: 4リージョン
- 2011-2015: +7リージョン
- 2016-2018: +11リージョン
エッジロケーション
- 主に次の機能を提供するインフラ
  - コンテンツキャッシュ（CloudFront）
  - DNSサービス（Route 53）
  - セキュリティ（AWS WAF、AWS Shield）
- グローバルで100箇所以上
Amazon Global Network
- 冗長化された100GbEネットワーク
- 中国を除く、すべてのリージョン間にプラベートキャパシティを提供
- Direct Connectロケーション
  - お客様拠点とAWSリージョンを相互接続するポイント
  - 日本には3箇所
Amazon Global Networkの活躍どころ
- 広帯域で安定したデータ通信
- RDSクロスリージョンリードレプリカ
- S3クロスリージョンレプリケーション
活用を促進するアップデート
- Inter-Region VPC Peering
- Direct Connect Gateway
- Public Connectivity for All Regions
Direct Connect、データ転送の料金
- リージョン間の通信：$0.09/GB
- Direct Connectポート料金：$0.285/時間
- インプレミスへの通信：$0.0491/GB